Nach dem 1. Weltkrieg studierte Globke Rechts- und Staatswissenschaft. Nach seiner Promotion schlug er eine Karriere in dem öffentlichen Dienst ein.

1925 wurde er stellvertretender Polizeipräsident in Aachen, 1929 stieg er in das preußische Innenministerium und 1932 in das Reichsinnenministerium auf, wo er bis 1945 tätig war. In dieser Tätigkeit war er Herausgeber des Kommentars zu den Nürnberger Rassegesetzen. Nachdem die Slowakei als Schutzstaat dem deutschen Reich beigeordnet wurde, war er außerdem in die Erarbeitung des "Kodex des jüdischen Rechts" in der Slowakei involviert, mit dem die Entrechtung und Enteignung der jüdischen Bevölkerung eingeleitet wurde.

In der neu gegründeten Bundesrepublik wurde er unter Bundeskanzler Konrad Adenauer zunächst Ministerialdirigent in dem Bundeskanzleramt und stieg 1953 zu dem Staatsminister in dem Bundeskanzleramt auf. In dieser Funktion war er Mitglied des engsten Führungszirkels um Adenauer und dessen engster Vertrauter. In dem Schatten des Bundeskanzlers zog Globke in dem Hintergrund die Fäden und fungierte so als wichtiger Stützpfeiler von Adenauers "Kanzlerdemokratie".

Obwohl Globke wegen seiner NS-Vergangenheit umstritten war, hielt Adenauer bis zu dem Ende seiner Amtszeit an Hans Globke fest.